Statistical Physics of Inference problems

1 Lecture 1 3 1.1 Bayesian Inference and Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.1 The Bayes formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.2 Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 A toy example in denoising . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.1 Phase transition in an easy example . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.2 The connection with Random Energy Model . . . . . . . . . . . . . . . . . . . . . . . 6 1.3 Taking averages: quenched, annealed and planted ensembles . . . . . . . . . . . . . . . . . . . 7 1.3.1 The Quenched ensemble . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3.2 The Annealed ensemble . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3.3 The Planted ensemble . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.4 The fundamental properties of planted problems . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.4.1 The two golden rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.4.2 The planted ensemble is the annealed ensemble, but the planted free energy is not the annealed free energy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.4.3 Equivalence between the planted and the Nishimori ensemble . . . . . . . . . . . . . . 10 1.5 The quenched ensemble and Large deviations . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.5.1 The magic of quiet planting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12